Calment sinh ra tại Arles, Bouches-du-Rhône, Provence-Alpes-Côte d'Azur ngày 21 tháng 2 năm 1875.[2] Cha bà, Nicolas Calment (28 tháng 1, 1838 – 22 tháng 1 năm 1931), là một thợ đóng tàu, và mẹ của bà, Marguerite Gilles (20 tháng 2 năm 1838 – 18 tháng 9 năm 1924), xuất thân từ một gia đình chủ cối xay gió. Một số người thân của bà cũng sống rất thọ mặc dù không ai sống cố định một nơi lâu như Jeanne: anh trai François của bà sống thọ 97 tuổi, cha của bà mất trước sinh nhật thứ 93 sáu ngày, còn mẹ của bà hưởng thọ 86 năm.

Theo lời Calment, bà đã gặp Vincent van Gogh lúc 13 tuổi, khi ông đi vào xưởng của cha bà năm 1888. Bà thấy van Gogh là người "lem luốc", ăn mặc tồi tàn và hay cau có."[5]